Aus der Ortsmitte heraus nach Süden führt die Kufsteiner Straße. Wir sind wieder zu Fuß unterwegs und durchqueren das Burgtor, seit 500 Jahren ein markantes Wahrzeichen von Oberaudorf und Rahmen für das ortsgeschichtliche Museum der Gemeinde. Dann biegt rechts die Seestraße ab Richtung Luegsteinsee. über uns, hinter den hohen Bäumen in der Felswand versteckt, "Weber an der Wand" - eine einstige Eremitenklause und historische Gaststätte mit Höhlenhaus. Die Gründung des kuriosen Hauses in der Felswand geht auf fünf Eremiten zurück und lässt sich auf einen Zeitraum von 1666 bis 1794 zurück datieren. Einst fand hier der erste Schulunterricht Oberaudorfs statt. Seinen Namen verdankt das historische Gebäude dem Webermeister Georg Seywald, der die Eremitenklause Anfang des 19. Jahrhunderts erwarb und zu einem Haus an der monumentalen Felswand ausbauen ließ. Einige Jahre später gab er sein Gewerbe auf und eröffnete in den geschichtsträchtigen Räumlichkeiten eine Gastwirtschaft. Aufgrund der einzigartigen Lage des Wirtshauses, das am Fuße des Luegsteinsees gelegen ist und den Blick auf das Kaisergebirge freigibt, aber auch nicht zuletzt wegen der warmherzigen Gastfreundlichkeit und des urgemütlichen Ambientes avancierte der "Weber an der Wand" über die regionalen Grenzen hinweg zu einem gesellschaftlichen Anziehungspunkt. Ein besonderer Meilenstein in der Historie des Wirtshauses ist die Verleihung der "Bierschankgerechtigkeit" am 8. August 1827 durch den Kronprinzen Ludwig. Die alten Mauern sind stille Zeugen der ruhmreichen Tage, als gekrönte Häupter, Prinzen, Fürsten, Maler, Dichter, Intellektuelle und erfolgreiche Kaufmänner hier Einkehr hielten und sich kulinarisch verwöhnen ließen. Unter den prominenten Gästen – um nur einige zu nennen – reihten sich ein: Zar Alexander I. von Rußland, König Ludwig I., König Max II., Prinzregent Luitpold von Bayern, der Schriftsteller Ludwig Steub, der Kirchen- und Historienmaler Johann von Schraudolph, sowie Franz Xaver Gabelsberger, der Erfinder der deutschen Kurzschrift.
Leider ist das Gebäude seit 1919 geschlossen und bis jetzt dem Verfall ausgesetzt.